每个 token 都需要专属教师：多教师自适应 on-policy 自蒸馏
🧭 LLM 后训练 · token 级多教师 OPSD ★ 深度解读
TU München · Munich Center for Machine Learning · Kyoto University · ELLIS Institute Finland · Aalto University
提出 token 级自适应 on-policy 自蒸馏，用多教师池+多数投票+KL 为每个 token 选教师，数学推理最高提升+5.9
📌 工作参考价值（4 点）
- 在生成式推荐 / query 生成 / 文案生成的 on-policy self-distillation 中，如果使用高质量参考（如人工标注、规则 template）作为 privileged reference，建议构造多教师池：对参考做 prefix/suffix/random-span 截断、不同保留比例，而不是只用完整参考；再按 token 选择教师，可避免过度尖锐监督。
- 多数投票 + KL 距离是低成本的 token 级选择规则：先看候选教师对当前学生采样 token 的支持方向是否一致，再在一致子集里选 KL 最大的教师；不需要额外模型，可直接嵌入现有训练 pipeline。
- 消融表明，多教师池配随机选择或平均 loss 提升有限，真正收益来自自适应分配；因此如果业务上做多教师蒸馏，不能只做 ensemble，需要设计 token 级选择策略。
- 若在搜索/推荐 Agent 中让 LLM 生成推理或决策轨迹，可借鉴该 work 的 token 级教师干预评估法来快速诊断哪些位置需要更强监督，而不是整段统一加 loss。
面向大语言模型的通用文本教学
🧭 LLM 文本知识蒸馏 · Primer ★ 深度解读
Westlake University
提出 UTT，无需参数更新，将 Teacher-Student 知识差距蒸馏为可迁移的自然语言 Primer，显著提升推理与代码生成性能
📌 工作参考价值（4 点）
- 业务中有强模型（如 GPT-4/Claude）和弱模型（如开源小模型或 API 便宜模型）时，可借鉴 UTT 对困难 query/商品/广告创意做配对评估，自动生成可复用 prompt/Primer，无需微调弱模型即可提升效果，尤其适合只能调用 API 的模型。
- 知识差距选择比随机选择更有效：先找出教师答对、学生答错的样本，再让教师针对性生成教学指令和演示，比直接让教师总结全量数据更利于迁移。可用于构建困难样本集或优化 few-shot 示例。
- 验证门控机制实用：每次更新 prompt/Primer 前，用小批量验证集确认不降低学生已有能力，避免自动 prompt 优化或 Agent 指令库更新时出现退化。
- 跨模型迁移性提示：同一个文本提示可在不同版本/不同家族的模型间复用，适用于多模型路由、灰度发布或模型升级时的知识继承。
骨架应该说什么语言？多语言推理中的语言选择
🧭 LLM 多语言推理 · 提示骨架语言选择
ETRI · KAIST · Dankook University
系统研究多语言数学推理中骨架提示语言选择，发现英语骨架平均微小正向但非普遍最优，效应依赖语境
📌 工作参考价值（4 点）
- 多语言业务中若用结构化推理骨架（如多步 agent 的思考模板），默认英语骨架可作为 baseline，但必须按语言分桶评估；平均收益可能由低资源语言/小模型驱动，不能直接全量推广。
- 将语言选择纳入 prompt 实验矩阵：不同骨架语言的效果存在方向一致、评估/基准依赖、不对称负效应，因此需要 multi-rollout + translation ablation 隔离语言变量，避免单次 greedy 结果误判。
- 对低资源语言，如果训练额外的多语言推理模型成本高，可优先用英语骨架做训练免推理引导；但要警惕对某些语言产生负效应，发布前做显著性校正。
- 工程上可复用其开源 LASEF 框架，构建多语言骨架版本管理、评估流水线，尤其适合跨境电商搜索/推荐场景的多语言 query 理解与 agent 推理。
测试时策略优化：非对称蒸馏与GRPO的无标签推理提升
🧭 测试时训练 · 非对称蒸馏与RL ★ 深度解读
Zhejiang University · Alibaba Group
多数投票伪标签下，正样本蒸馏、负样本GRPO惩罚，配合token级选择，无标签测试时训练匹配有监督OPSD
📌 工作参考价值（4 点）
- 无标签或延迟反馈的业务场景（如搜索/推荐结果的多步解释、Agent 任务完成率）可用模型自身多数投票/一致性产生伪标签；关键是不要直接蒸馏伪标签，而是对“与多数不一致”的样本做 RL 惩罚，这比正向模仿伪标签更抗噪声。
- 多步 Agent 或生成式推荐做 test-time fine-tune 时，正样本用蒸馏、负样本用 RL 惩罚，并且只对负样本中 confident errors（低概率低熵）施加梯度，避免惩罚正确的中间步骤；正样本按 step 重要度加权，降低已收敛位置的权重。
- 工程 trick：RL loss 需要加权重（约 0.1）平衡蒸馏 loss 的量级；固定正负样本 1:1 比动态比例更稳定；选择最短完整轨迹进入梯度更新窗口，可避免关键决策步骤落在梯度窗口外。
- 若业务有“答案可验证但无真值”的场景，优先用多数投票路由而不是 ground-truth 路由：困难样本上 GT 路由可能正样本为空导致训练信号消失，多数投票保证两个分支活跃，形成自我进化。
知道何时停止：分段信用分配减少过度思考
🧭 LLM推理训练·信用分配
Capital One
利用推理链中的中间答案承诺作为廉价代理，分段分配信用以抑制无益自我反思
📌 工作参考价值（4 点）
- 在构建 Agent 或推荐系统的多步推理链路时，可借鉴「中间答案承诺」作为信号，自动评估后续步骤是否有助于任务目标，从而提前终止无用的推理分支，降低 token 消耗与延迟。
- 在 RLHF 或 GRPO 训练中，可尝试分段信用分配，而非仅对整个轨迹赋分，以更精细地鼓励有效推理、抑制重复验证等低效行为。
- 对于需要多轮交互的对话式推荐或搜索 Agent，可以引入“漂移检测”，若当前回答远离正确方向，则触发策略调整，避免陷入过长的无意义探索。
- 该方法无需额外人工标注或过程奖励模型，仅利用最终答案标签即可实现分段优势塑形，在资源有限的业务场景下性价比高。
在线策略优化中验证器诱导的支撑重塑
🧭 RLVR在线策略优化的能力保持问题
Peking University · BUPT
在线RLVR优化单一目标会缩小后续任务可采样成功轨迹，导致pass@1与best@k背离
📌 工作参考价值（4 点）
- 多目标 RLVR/RLHF 后训练时，同时监控 pass@1、best@k 与“有成功轨迹的 prompt 比例”，避免平均奖励上升但尾部任务支撑塌缩。
- 对搜索/推荐 Agent 的指令遵循或格式约束训练，RLVR 可能只重排已有开头 token 而非生成新能力；可对前几个 token 加多样性正则或保留基座策略的开头分布。
- 顺序多目标训练（如先数学后 IF）应在每个阶段保存 checkpoint 并评估跨任务 best@k；参考策略约束、路由先验、蒸馏只能部分缓解，建议显式混合数据或联合验证器。
- 若用 RLVR 做转化/点击奖励的 on-policy 优化，需防止模型为提升即时反馈而牺牲搜索/检索友好性；可在 reward 中考虑前几个 token 的信息量或可搜索性。
数学推理中思维链的SHAPE分析框架
🧭 数学推理CoT分析与后训练
Graduate School of Data Science, Seoul National University · Department of Mathematics Education, Seoul National University
用语义空间与启发式分析数学CoT，发现启发式更能解释正确性且可通过多样化后训练提升推理
📌 工作参考价值（3 点）
- 将Agent推理诊断从表面特征转向结构化技能分析：可借鉴SHAPE的二维编码（语义空间+启发式），对搜索推荐Agent（如意图理解、召回策略选择、排序解释）的推理轨迹打标，定位模型在哪些解释框架或动作上出错，而不是只看最终效果。
- 警惕RL微调中的模式坍缩：该研究发现RL使启发式使用趋于mode-seeking。在训练对话式推荐或query改写Agent时，若仅使用结果奖励，模型可能只学会一种固定策略，建议加入策略多样性正则或覆盖多个启发式的过程奖励。
- 通过构造多样化策略数据提升模型泛化：后训练时显式促进启发式多样性可提升数学推理准确率，迁移到业务可构造包含不同改写策略（如扩写、纠错、意图切换）的query推荐数据，让模型学习多种解法而非单一模板。
MaxProof：基于生成式验证器RL和群体级测试时扩展的数学证明规模化
🧭 数学证明 · 生成式验证器 · 测试时扩展
MiniMax · The Chinese University of Hong Kong · Fudan University · Peking University · Tsinghua University
通过生成-验证-修复一体化训练与锦标赛搜索，在IMO 2025和USAMO 2026上超越人类金牌线
📌 工作参考价值（4 点）
- 防御式多层验证器（defense-in-depth verifier）降低误判的思路可迁移至电商推荐中的内容审核、虚假评论检测等高风险场景，通过生成式模型直接判断并给出理由提升解释性。
- 群体级测试时扩展（population-level test-time scaling）的锦标赛搜索框架可启发多智能体推荐系统，将生成、验证、排序等角色分配给同一模型的不同调用，在推理阶段提升最终推荐质量。
- 将验证器训练与生成器对齐，通过“错误发现”任务强化模型对瑕疵的感知，这一范式可用于商品描述生成或广告文案的自我修正，减少人工审核成本。
- RF过程中的数据领域和技巧平衡策略（domain and trick balance）对电商冷启动或长尾商品建模有借鉴意义，通过构造均衡训练集避免模型偏向高频模式。
通过随机少样本指导增强可验证奖励强化学习
🧭 LLM ★ 深度解读
University of Illinois Urbana-Champaign
提出 FEST 算法，仅用 128 个随机 SFT 演示，通过半在线 DPO 和衰减权重实现 RLVR 的显著提升